8Д 


УДК 004.272.43 


А.И. Дордопуло,, И.И. Левин’, В.А. Гудков”, А.А. Гуленок* 
Южный научный центр РАН, г. Ростов-на-Дону, Россия 
"НИИ многопроцессорных вычислительных систем им. академика А.В. Каляева 
Южного федерального университета, г. Таганрог, Россия 
зсогрю(@ туз. 4виге.га, 1еут@) туз.1зиге.га, садКоу@ туз. 4вигели, апдге! оепок(@тай.ги 


Комплекс средств разработки 
прикладных программ на реконфигурируемых 
вычислительных системах 


В статье рассматривается комплекс системного программного обеспечения средств разработки 
прикладных программ для реконфигурируемых вычислительных систем, включающий трансляторы 
языков программирования, среды разработки и синтеза прикладных схемотехнических решений, средства 
удаленного доступа к вычислительным ресурсам базовых модулей и ряд служебных программ. Комплекс 
средств разработки прикладных программ позволяет упростить процесс разработки прикладных программ 
для реконфигурируемых вычислительных систем на основе программируемых логических интегральных 
схем и сократить сроки разработки прикладного программного обеспечения. 


Применение реконфигурируемых вычислительных систем (РВС) для решения 
сильносвязанных задач позволяет существенно повысить производительность приклад- 
ных задач различных классов по сравнению с использованием традиционных много- 
процессорных вычислительных систем кластерной архитектуры. 

Разрабатываемые и развиваемые более 20 лет в Научно-исследовательском 
институте многопроцессорных вычислительных систем имени академика А.В. Каляева 
Южного федерального университета РВС представляют собой высокопроизводительную 
вычислительную систему, работающую по принципу конвейерной обработки потока 
данных [1] под управлением хост-компьютера. Отличительной особенностью таких 
систем является возможность изменения архитектуры системы на логическом уровне, что 
позволяет создавать вычислительный конвейер, соответствующий алгоритму обработки 
данных на уровне аппаратных устройств для решаемой задачи. Программирование РВС 
заключается в создании как параллельной программы, организующей потоки данных, так 
и наиболее эффективной конфигурации вычислительной системы, соответствующей 
алгоритму решаемой задачи. Поэтому РВС, с одной стороны, чрезвычайно привлека- 
тельны с точки зрения получения максимальной производительности, а с другой стороны, 
характеризуются очень сложным и трудоемким процессом программирования, сопоста- 
вимым по сложности с созданием новой вычислительной системы. 

Высокая реальная производительность РВС, составляющая не ниже 60% от пиковой 
производительности системы, обеспечивается как структурно-процедурными методами 
организации вычислений и архитектурными принципами построения системы, так и 
программным комплексом средств разработки прикладных программ, обеспечивающим 
следующие возможности: 

— программирование как структурной, так и процедурной составляющих на языке вы- 
сокого уровня; 

— реконфигурацию прикладных задач без участия высококвалифицированного схемо- 
техника; 

— обеспечение совместимости и переносимости проектов между РВС разных архитектур; 
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— масштабирование прикладной задачи при увеличении ресурса; 
— удаленное использование вычислительных ресурсов РВС. 

Созданный комплекс программных средств разработки [2], структура которого 
представлена на рис. 1, по функциональному назначению разделяется на комплекс 
средств разработки прикладных программ, средств администрирования вычислительных 
ресурсов РВС и комплекс служебных программ и драйверов. 


рограммный комплекс средств 
разработки для реконфигурируемых 


5 вычислительных систем 
Средства разработки Средства администрирования 
вычислительных ресурсов 
прикладных программ ресур 
Транслятор языка низкого 
Система удаленного доступа 
уровня Агдиз 
Транслятор языка прай 
райвер 
высокого уровня СОГАМО 


Среда разработки 
прикладных программ 


Агдиз ОЕ 


Служебныепрограммы идрайверы 
Программный интерфейс 


Среда разработки масштабируемых 
схемотехнических решений 
Рге'Сопз\гисфог 


Библиотеки [Р-ядер 
Библиотеки интерфейсов 


Рисунок 1 — Структура программного комплекса средств разработки для РВС 


Средства разработки прикладных программ содержат: транслятор языка ассемблера 
Агоиз у. 3.0; транслятор языка программирования РВС высокого уровня СОГАМО у. 2.0; 
интегрированную среду разработки прикладных задач Агеи$ ШЕ у. 3.0, поддерживаю- 
щую языки программирования Агеи$ у. 3.0 и СОГАМО у. 2.0; среду разработки вычисли- 
тельных структур для синтеза масштабируемых параллельно-конвейерных процедур, опе- 
рирующую библиотекой ГР-ядер и интерфейсов. 

Язык программирования высокого уровня СОГАМО [3-5] обеспечивает поддержку 
создания как структурной, так и процедурной составляющих прикладной программы, 
реконфигурацию прикладных задач без участия высококвалифицированного схемотех- 
ника за счет неявного описания параллелизма и переносимость прикладных задач между 
РВС разных архитектур за счет использования файла описания архитектуры РВС и 
элементов библиотеки масштабируемых 1ШР-ядер. Транслятор СОГАМО у. 2.0 осущест- 
вляет трансляцию процедурной составляющей программы, организующей потоки дан- 
ных, в язык ассемблера Агоиз у. 3.0 и создание структурной составляющей в объектном 
представлении, которая автоматически передается в среду разработки масштабируемых 
параллельно-конвейерных процедур Епе!Сопзгиасюг для синтеза конфигурационных 
файлов ПЛИС на языке УНОГ. 

Фундаментальным типом вычислительной структуры в языке СОГАМО является 
конструкция «кадр». Кадром является программно-неделимая компонента, представля- 
ющая собой совокупность арифметико-логических команд, выполняемых на различных 
элементарных процессорах, обладающих распределенной памятью и соединенных между 
собой в соответствии с информационной структурой алгоритма таким образом, что вычи- 
сления производятся с максимально возможными параллелизмом и асинхронностью. 

Кадр фактически определяет вычислительную структуру и потоки данных в 
РВС в данный момент времени. При этом все операции в теле кадра выполняются 
асинхронно с максимальным параллелизмом, а последовательность смены кадров 
однозначно определяется программистом. 


«Штучний 1нтелект» 3’2009 977 


3 д Дордопуло А.И., Левин И.И., Гудков В.А., Гуленок А.А. 


В языке отсутствуют явные формы описания параллелизма. Распараллеливание 
достигается с помощью объявления типов доступа к переменным и индексации эле- 
ментов массивов. Для исключения конфликтов одновременного чтения и записи ячеек 
памяти в пределах текущего кадра используется широко распространенное в языках пото- 
ка данных правило единственной подстановки: переменная, хранящаяся в памяти, может 
получить значение в кадре только один раз. 

Для обращения к данным используются два основных метода доступа: парал- 
лельный доступ (задаваемый типом Уесюг) и последовательный доступ (задаваемый 
типом 5геапл). На рис. 2 представлены программы, являющиеся граничными примерами 
извлечения параллелизма, и графы синтезируемых вычислительных структур. 


УАВ А,В,С: Пщесег [10 : Уесю] Мет; УАВ А,В,С : Пщесег [10 : Згеат] Мет; 
УАВ Г: Миштбег; УАВ Г: МитьБег; 
САРОВ Зишта\Уесюг; САОВ Зиттагеат; 
Еог Г: =0 109 40 Еог Г: =0109 40 
СШ: =А +В СШ: =А +В; 
ЕМОСАОВ; ЕМОСАОВ; 


Рисунок 2 — Параллельное и последовательное сложение массивов 


Тип доступа Эёеат указывает на последовательную обработку элементов одно- 
мерного массива, а тип Уесюг позволяет обрабатывать элементы одномерного массива 
одновременно. 

Многомерные массивы состоят из множества измерений, каждое из которых 
может иметь последовательный или параллельный тип доступа, задаваемый ключевым 
словом Эгеат или Уесфог соответственно. 

Применение неявного описания параллелизма за счет задания типа доступа 
позволяет достаточно просто управлять степенью распараллеливания программы на 
уровне описания структур данных и дает возможность программисту максимально 
просто описывать различные виды параллелизма в достаточно сжатом виде. 

Трансляция программы на языке высокого уровня СОГАМО состоит в созда- 
нии схемотехнической конфигурации вычислительной системы (структурной состав- 
ляющей) и параллельной программы, управляющей потоками данных (потоковой и 
процедурной составляющих). 

Операторы и функции языка (сумматоры, умножители, функции сравнения, 
тригонометрические функции и др.), используемые в тексте параллельной программы, 
имеют готовые схемотехнические решения. Данные решения разрабатываются специали- 
стами-схемотехниками в интегрированной среде разработки цифровых устройств 13Е 
фирмы ХПИМХ или с ней совместимых и включаются в библиотеку транслятора языка 
СОГАМО и библиотеку стандартных примитивов среды Еие!Сопзгас®г. 

В процессе работы транслятора языка СОГАМО формируется информационный 
граф прикладной задачи из текста параллельной программы, где операторы и функции 
языка по определённым правилам заменяются соответствующими блоками или группами 
блоков из библиотеки стандартных примитивов. 
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Синтезированный вычислительный граф задачи передается в среду разработки 
вычислительных структур Ете!Соп$гасюг для укладки на множество ПЛИС РВС и 
обеспечения синхронизации между ПЛИС [4]. Одной из задач среды является 
формирование разбиения информационного графа прикладной задачи на непересека- 
ющиеся подграфы, каждый из которых будет структурно реализован в кристаллах 
ПЛИС выбранной РВС. 

Составным элементом РВС является базовый модуль (БМ) — набор ПЛИС (РП, 
202, ..., РОМ), соединённых ортогональной системой коммутаций (рис. 3). В РВС базо- 
вые модули (БМо, БМ], ..., БММ) связаны последовательно, где каждый БМ (кроме 


первого и последнего) связан с одним последующим и одним предыдущим базовыми 
модулями. 


ВМЕлм — ВМЫ> ВМЁс 1 


Рисунок 3 — Система коммутаций в РВС 


Процесс синтеза результата разбиения информационных графов прикладных 
задач состоит из следующих этапов: 
— решения задачи разбиения (компоновки) узлов информационного графа приклад- 
ной задачи на непересекающиеся подграфы, каждый из которых будет размещён в соот- 
ветствующем БМ; 
— решения задачи размещения и трассировки для узлов информационного графа в каж- 
дом БМ в отдельности и задачи трассировки связей между БМ; 
— синтеза файлов УНОГ-описаний и файлов временных и топологических ограничений 
для каждой ПЛИС, каждого БМ выбранной РВС. 

Задача разбиения решается с помощью алгоритма последовательного дихотоми- 
ческого разрезания графа [6], с использованием разработанных эвристических методов 
преодоления локальных оптимумов. 

Задача размещения и трассировки решается с помощью алгоритма одновременного 
размещения и трассировки, в котором вершины информационного графа и кристаллы 
ПЛИС, в которые выбранные вершины размещаются, выбираются парами последо- 
вательно. Трассировка связей производится на каждой итерации алгоритма после выбора 
пары размещаемой вершины и кристалла ПЛИС. Алгоритм построен таким образом, что 
приоритетнее считается размещение в кристалл ПЛИС, в который была помещена вер- 
шина на предыдущей итерации. Таким образом, размещение происходит как бы груп- 
пами — последовательностями вершин. При этом запоминаются состояния размещения, 
названные «хорошими», соответствующие локальным минимумам суммы внешних связей 
всех вершин, последовательно размещённых в один и тот же кристалл ПЛИС. Также к 
«хорошим» относятся состояния, в которых в результате последнего размещения вер- 
шина была помещена в кристалл ПЛИС, отличный от предпоследнего размещения. 
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В случае, если не удалось выбрать пару вершина/кристалл или не удалось проло- 
жить трассы, осуществляется процедура возврата к предыдущему «хорошему» состоянию. 

В процессе работы алгоритма размещения и трассировки используется много- 
уровневая схема [7], идея которой заключается в последовательном прохождении 3 эта- 
пов (рис. 4): укрупнение узлов исходного графа, размещение укрупнённого графа и 
восстановление размещённого графа до уровня исходного графа. 


ка. д ‹ я 
м р. 
Укрупнение Восстановление 


——__ Размещение ЕЕ 


У 


Рисунок 4 — Многоуровневая схема размещения графа 


На этапе укрупнения находятся непересекающиеся группы узлов графа, которые 
выгодно размещать в одном и том же кристалле ПЛИС. При этом на группы могут накла- 
дываться ограничения по размерности группы и по количеству внешних связей группы. 
Далее из каждой группы исходного графа формируется по одному мультиузлу укрупнён- 
ного графа. Классическим алгоритмом укрупнения исходного графа является алгоритм 
попарного стягивания, на каждой итерации которого по определённым критериям проис- 
ходит выборка пар смежных узлов, которые будут объединены в мультиузлы, и получен- 
ный граф поступит на следующую итерацию алгоритма. Таким образом, на каждой ите- 
рации алгоритма количество узлов исходного графа уменьшается вдвое. Алгоритм оста- 
навливается, когда будет достигнуто заданное количество узлов в укрупнённом графе. 

Для этапа укрупнения исходного графа был разработан модифицированный 
алгоритм попарного стягивания вершин графа, на каждом этапе которого находится 
единственная пара узлов графа, которая объединяется в мультиузел. Главным крите- 
рием оценки качества сформированного мультиузла является отношение количества 
внешних связей к внутренним. Алгоритм учитывает ранее размещённые узлы графа в 
ПЛИС и позволяет формировать вокруг размещённых узлов мультиузлы с заведомо 
известными их размещениями. 

На этапе размещения многоуровневой схемы среда работает согласно при- 
ведённому выше алгоритму одновременного размещения и трассировки. 

На этапе восстановления размещённый укрупнённый граф разворачивается до 
уровня исходного графа. При этом узлы исходного графа, вошедшие в одну группу, 
будут размещены в том же кристалле ПЛИС, в котором был размещён мультиузел 
укрупнённого графа. 

Третьим этапом синтеза результата разбиения информационных графов при- 
кладных задач является синтез файлов ГНОГ-описаний и файлов временных и 
топологических ограничений для каждой ПЛИС, каждого БМ выбранной РВС. Данные 
файлы подключаются к проекту в интегрированной среде разработки цифровых уст- 
ройств [ЗЕ фирмы ХПИМХ, в котором содержатся все задействованные в формиро- 
вании информационного графа задачи, схемотехнические решения вычислительных 
и интерфейсных блоков, и для каждой микросхемы создаются конфигурационные 
файлы ПЛИС. 
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Среда Епе!Сопзас®ют упрощает создание масштабируемых структурных 
решений и сокращает время разработки за счет автоматизированного выполнения 
следующих трудоемких процедур: 

— согласования входов и выходов совместно работающих ПЛИС (исЁЕ-файлов); 

— автоматической синхронизации информационных потоков при размещении функцио- 
нальных устройств в едином вычислительном контуре, расположенном в различных 
кристаллах ПЛИС; 

— автоматического обеспечения сбалансированного размещения функциональных 
устройств по различным ПЛИС. 

Общая взаимосвязь транслятора языка СОГАМО, среды Епе!Сопзгасюг и син- 
тезатора конфигурации ПЛИС в рамках комплекса системного программного обес- 
печения при создании многокристального схемотехнического решения для базового 
модуля РВС представлена на рис. 5. 

Такой подход к программированию реконфигурируемых вычислительных систем 
позволяет освободить программиста от построения графа задачи в виде функциональных 
библиотек в среде Ете!Сопзгасюг и синхронизации потоков данных в РВС, сократив 
время создания параллельных программ для РВС в 3 - 10 раз, и исключить участие 
специалиста-схемотехника при разработке параллельных прикладных программ. 
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Рисунок 5 — Взаимосвязь компонент комплекса при создании многокристального 
схемотехнического решения для базового модуля РВС 


Язык структурно-процедурного программирования Агоиз представляет собой низ- 
коуровневый язык (ассемблер), предназначенный для описания процедурной состав- 
ляющей прикладной параллельной программы РВС [2], [3]. Программа на языке Агэи$ 
организует потоки данных на уровне команд контроллеров распределенной памяти, 
обеспечивая их синхронизацию. Программирование на языке Агоиз, как и на любом 
языке ассемблера, требует от программиста обширных знаний в области аппаратного 
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обеспечения РВС, команд контроллеров распределенной памяти и взаимосвязей между 
структурными элементами системы. 

Интегрированная среда разработки Агеи$ ШЕ предназначена для интерактивной 
разработки параллельных программ на языках высокого уровня СОГАМО и языке 
ассемблера Агоиз в едином языковом пространстве. Среда Агоиз ШЕ, объединяя в своем 
составе трансляторы языков СОГАМО и Агоиз$, обеспечивает эффективную разработку 
масштабируемых параллельных программ для РВС. 

Созданное параллельное решение прикладной задачи в виде загрузочного модуля 
РВС с помощью драйвера загружается в базовый модуль РВС. Драйвер базовых модулей 
обеспечивает программную поддержку функций непосредственного доступа к высоко- 
скоростному аппаратному интерфейсу, поддерживающему пакетные режимы работы и 
обеспечивающему механизмы прямого доступа к физической памяти управляющего 
компьютера. Кроме того, драйвер выполняет поддержку режимов энергосбережения. 

Комплексная отладка программ, функционирующих на множестве базовых 
модулей РВС, осуществляется с помощью отладчика параллельных программ, обла- 
дающего следующими возможностями: 

— поддержкой точек останова для контроллеров памяти, в том числе и условных; 

— обеспечением полного доступа к памяти базовых модулей в любой момент времени; 

— обеспечением выполнения и возможности настройки команд пуска, останова, выгрузки 
промежугочных результатов. 

Для удаленного доступа и управления вычислительными ресурсами РВС разрабо- 
тана система удаленного доступа, которая состоит из сервера, обрабатывающего удален- 
ные заявки на использование вычислительных ресурсов и поддерживающего очередь 
заявок, и клиента, формирующего заявки на основе команд пользователя. К функциям 
системы удаленного доступа относятся функции включения, выключения, остановки и 
запуска как отдельных базовых модулей, так и блоков, стоек и РВС в целом (рис. 6). 
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Рисунок 6 — Структурная схема системы удаленного доступа 
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Для доступа к вычислительным ресурсам РВС и основным функциям разработан- 
ных программных средств из других систем разработки создан программный интерфейс 
доступа к базовым модулям РВС. Все системное и прикладное программное обеспечение 
основывается на использовании программного интерфейса, что позволяет обеспечить 
переносимость и масштабируемость (расширяемость) системного и прикладного про- 
граммного обеспечения независимо от низкоуровневой программно-аппаратной реализа- 
ции функций доступа к базовым модулям. 

Созданный комплекс системного программного обеспечения позволяет создавать 
эффективные прикладные программы для РВС при решении задач различных предмет- 
ных областей без знания специфики организации структурно-процедурных вычислений. 

Созданные средства разработки прикладных программ для реконфигурируемых 
вычислительных систем обеспечивают удобство программирования сложных практи- 
ческих задач на РВС и сокращают время разработки прикладного решения в 3 -— 5 раз, 
обеспечивая при этом автоматизированный перенос структурного решения с одной 
архитектуры РВС на другую. 
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Комплекс засо@бв розробки прикладних програм на реконф/гурованих обчислювальних системах 

У стати розглядаеться комплекс системного програмного забезпечення засобв розробки прикладних програм 
для реконфигурованих обчислювальних систем, що включае транслятори мов програмування, середовища 
розробки 1 синтезу прикладних схемотехе!чних рипень, засоби вддаленого доступу до обчислювальних ресурмв 
базових модулв 1 ряд службових програм. Комплекс засоб\в розробки прикладних програм дозволяе спростити 
процес розробки прикладних програм для реконфигурованих обчислювальних систем на основ! програмованих 
лопчних 1нтегральних схем 1 скоротити термйни розробки прикладного програмного забезпечення. 


А. Рогдоршо, Ш. Геут, Г.А. СидКоу, А.А. Сшепое 
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Фе рарег. Зумет зой\уаге сотрРех соп5155 оЁ ргозтатлише 1апеиасе фапзаюг$, епутоптепе о аррИе4 сисий 
зоаноп$ 4еуе!ортеп ап4 зуп®ез15, 10015 Юг гетое ассезз ю Баз1с подшез соппршайопа| гезоигсез ап4 а пипабег 
оЁ Ну ргоэтапа$. Сотарех оЁ аррПе ргоэтагл$ Чеуеортлепи 10015 аПо\з ю зпарИБу деуе!ортеп{ оЁ аррПеа 
ргоегапл$ Юг гесопйгигае сопариег зузёет$ оп Фе Базе оЁ ЕРСАз$ ап 4есгеазе те оЁ аррИе4 зойхумаге 
Чеуе]ортепе. 
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